模拟训练

VideoAgent

VideoAgent是一款基于自改进机制的视频生成系统,结合图像观察与语言指令生成机器人控制视频计划。它采用自我条件一致性方法优化视频质量,通过预训练视觉-语言模型反馈和实际执行数据的收集,持续提升生成效果,减少幻觉内容并提高任务成功率。VideoAgent在模拟环境中有优异表现,并已应用于机器人控制、模拟训练、教育研究、游戏开发以及电影制作等领域,展现出广泛的应用潜力。

HOVER

HOVER是一款由英伟达研发的1.5M参数量的小型模型,专注于人形机器人复杂动作的控制。其核心功能涵盖多模式控制、运动学位置跟踪、关节角度跟踪及统一命令空间设计,通过策略蒸馏与模拟训练实现高效技能迁移,广泛应用于导航、桌面操作、移动操作及远程操控等场景。

AnimateAnything

AnimateAnything是一项由浙江大学与北京航空航天大学联合研发的统一可控视频生成技术。它能够根据相机轨迹、文本提示及用户动作注释等多样化控制信号生成高质量视频,并通过多尺度特征融合网络将这些信号转化为逐帧光流进行精准引导。此外,为解决大范围运动带来的视频闪烁问题,该技术采用了基于频率的稳定模块,显著增强了视频的时间稳定性。主要应用于影视制作、虚拟现实、游戏开发以及教育培训等多个领域。

World Labs 空间智能模型

World Labs 空间智能模型是一款基于人工智能技术的工具,能够通过单张图片生成逼真的3D世界,并支持实时渲染与交互操作。其核心功能包括3D几何估算、场景补全、内容生成及相机效果模拟,广泛应用于电影、游戏、虚拟现实、教育以及建筑设计等多个领域,大幅提升了创作效率与视觉表现力。

Genie 2

Genie 2是一款由DeepMind开发的大规模基础世界模型,其核心功能包括基于单一图片生成可交互3D游戏世界、模拟物体交互及物理效果、支持多类型动作控制、具备长时间记忆能力以及实时生成新场景内容。该工具不仅适用于智能体训练与评估,还广泛应用于游戏开发、模拟与训练、机器人学习以及虚拟现实和增强现实等领域。